MotionMaster Training-free Camera Motion Transfer For Video Generation

Authors：
Teng Hu, Jiangning Zhang, Ran Yi, Yating Wang, Hongrui Huang, Jieyu Weng, Yabiao Wang, Lizhuang Ma

核心内容

现有的相机运动控制的模型都依赖于训练一个时间相机模块(temporal camera module), 这需要大量的训练资源. 同时现有的模型在训练中对运动类型进行提前定义, 这限制了相机运动控制的灵活性.

MotionMaster 是 train-free 的视频运动迁移模型, 将原视频中的相机运动和物体运动进行解耦, 然后将提取到的相机运动迁移到新的视频中.MotionMaster 首次提出了从源视频中进行 one-shot 的相机运动提取的解耦方法, 通过求解泊松方程, 根据背景中的运动来估计物体运动中的相机运动.

方法

论文首先基于 UniEdit 的发现: 时间注意力模块建模了帧间的依赖和运动信息, 同时论文也发现时间注意力的 attention map 是由两部分运动类型构成, 一部分是相机运动, 另一部分是物体运动.
论文提出了两种解耦运动的方法